Người vợ đầu của tướng Nghiêm là bà Trần Thị Thuận, sau khi sinh hạ được 2 người con trai thì qua đời. Ông tục huyền với bà Trần Thị Kim Anh, sinh hạ được 8 người con nữa gồm 5 trai, 3 gái.
Các con: Lê Văn Trang[18],Lê Văn Châu[19], Lê Văn Anh Dũng, Lê Thị Thu thủy, Lê Thị Thu Hà, Lê Văn Hồng Đức, Lê Văn Anh Các, Lê Thị Thu Vân, Lê văn Anh Kiệt, Lê văn Anh Minh
